Doc-to-Atom: Learning to Compile and Compose Memory Atoms
Doc-to-Atom: 学习编译和组合记忆原子
🧭 文档参数记忆 · 原子化知识组装 ★ 深度解读
AI Center-Mountain View, Samsung Electronics · Dartmouth College
将文档分解为语义类型原子并编译为 micro-LoRA，查询时动态路由组合相关原子，减少干扰并提升长文档推理性能。
📌 工作参考价值（4 点）
- 长文档的知识原子化存储：对电商商品详情、政策法规等长文本，可预分解为独立语义原子（事实、属性、事件等），每个原子生成微型 LoRA 适配器，降低在线推理时的内存占用（文中内存减少 44-85%）。
- 查询相关性驱动的动态适配器组装：借鉴两阶段路由机制（近似索引 + 交叉编码器重排），只挑选与当前 query 最相关的 top-K 原子微调器组合，避免单一适配器对所有查询造成干扰，同时自然实现无关查询拒答（拒绝率可超 85%）。
- 稀疏门控与知识保护：利用稀疏掩码限制每个原子只写入部分层/模块，结合 L2 或 null-space 约束防止覆盖基础模型能力，这对在多任务环境下避免灾难性遗忘特别有用。
- 多目标训练与课程调度：同时优化蒸馏、路由、无关抑制、组合一致性等损失，并通过分阶段课程增加检索原子数，可稳定训练复杂参数记忆系统，相关损失设计可直接复用。